還記得前5天，我們將無人辦公室的點狀功能設計出來，
這時候，有學員就開始想破我的梗了，
「接下來，還不就只能把它們串起來。。。把後面5天耗盡」
不~~~，你們把我想簡單了，
我豈是讓你們這麼好猜的人物，
短短30天，要道出Python的神功密技絕對不夠，
當然，我可以繼續把前面五個步驟給串起來說，
但，若以此方向的腳本來看，總覺得看不出Python還能有多神?
因此，我打算把相對簡單串起來的部分找機會再跟大家演示，
我們繼續來看看Python到底能有多神?

很多學生說系統設計要快就要多Reuse，
很多老闆說系統架設要快就要一次到位因應商業變化再來客製化，
依照不同的角色，說得都對!
前面幾天我們的設計就符合學生可以Reuse的需求，
今天我們就來從老闆的角度談談一次到位的Python大神級開源應用。
首先登場的是「工作流程管理系統」，
當論及開源的Python在「工作流程管理系統」方面，就非Apache Airflow莫屬不可啦!

Airflow 原先由 Airbnb 開發，現為Apache頂級專案，系統主要的程式語言是 python，具有很棒的GUI，遵循著”configuration as code”原則，就連workflow及task都是用python撰寫的。
而後開源出來的工作流程管理系統（Workflow Management System），提供了多樣的 operator 可以使用，例如 Bash Operator、Python Operator，甚至可以直接對 GCP、S3、Slack 等等進行操作，減少了自己刻輪子的麻煩。漸漸地成為資料科學家、資料工程師以及數據軟體工程師，用來建構可靠的 ETL 以及定期處理批量資料的首選。
一般而言，我們會將相關的工作設計為一個「有向無循環圖」 DAG（Directed Acyclic Graph），顧名思義就是有方向性且無回向造成循環的結構，而且整個 DAG 就是一個 Python 程式，達到大家所追求的 Infrastructure as code，減少維運上的複雜度。

Apache Airflow引以自豪人性化的GUI設計，
流程以拖拉設定的方式設計，
其包含的主要元素如下:

• Airflow Worker: 執行task的工作單位
• Airflow Scheduler: 安排task給Workers，即時回報排程狀況給Webserver
• Airflow Webserver: 從Scheduler、task的logs結果來顯示UI
• Database: 上游task裡能將執行結果存到Database，下游結果能從Database裡取得上游task的結果
  

小小充電站:
什麼是DAG（Directed Acyclic Graph）?
DAG是「有向無循環圖」的縮寫。依照連接任務的箭頭產生順序與方向，且不能循環。DAG中的每個節點都對應著一個任務，而任務為資料處理的方式。是Apache中Airflow工具的核心。

(一) Airflow在行業中的應用： -

• 大數據
• 金融服務。
• IT產業。
• 銀行業。
• 機器學習。

有用過Linux的人都知道，若要排程作業就必須使用crontab 來管理，
但是crontab常常散置各處，
且相關的順序又很難一眼看出，
出現錯誤時常常後面的作業在前一個作業失敗後繼續執行的窘境，
若在維運階段可是會影響公司的商機。
聽了今天的Python開源方案「Apache Airflow工作流程管理系統」，
是不是被他的人性化流程介面給深深吸引了呢?

明天我們再來介紹另外由Python操刀的開源系統，明天見。